跳转至

文章背景与核心概要

本文探讨了基于模型的强化学习（MBRL）领域中的一个悖论：强大的世界模型智能体往往依赖于出奇薄弱的底层世界模型。

为了深入研究这种智能体与世界模型之间的差距，作者复现并独立评估了在 Atari Pong 游戏中的五种先进视觉世界模型智能体（DreamerV3、DIAMOND、TWISTER、Simulus 和 STORM）。研究结果揭示了它们在闭环演练（closed-loop rollouts）中的关键视觉与动力学缺陷、在零样本基于模型训练期间的大幅性能下降，以及对整个 Atari100K 基准测试的广泛影响。为了解决这些局限性，作者引入了概念引导空间正则化（Concept-Guided Spatial Regularization, CGSReg），这是一种旨在通过聚焦于如球等任务关键区域来提升性能的辅助重建损失。

在Atari Pong中改进强大智能体背后的弱世界模型 (Improving Weak World Models Behind Strong Agents in Atari Pong)

作者: Yukuan Lu, Zaishuo Xia, Weyl Lu, Yubei Chen
学科领域: 人工智能 (cs.AI); 机器学习 (cs.LG)
arXiv 链接: 2607.15142
日期: 2026年7月16日提交；2026年9月4日最后修订 (v3)

执行摘要 (Executive Summary)

本文探讨了基于模型的强化学习（MBRL）中的一个悖论：强大的世界模型智能体往往依赖于出奇薄弱的底层世界模型。

This paper investigates a paradox in model-based reinforcement learning (MBRL): strong world-model agents frequently rely on surprisingly weak underlying world models.

为了研究这种智能体与世界模型的差距，作者在 Atari Pong 中复现并独立评估了五种最先进的视觉世界模型智能体（DreamerV3、DIAMOND、TWISTER、Simulus 和 STORM）。他们的研究结果揭示了闭环演练中的重大视觉与动力学故障、零样本基于模型训练期间的大幅性能下降，以及在更广泛的 Atari100K 基准测试中的广泛影响。为了解决这些局限性，作者引入了概念引导空间正则化（CGSReg），这是一种辅助重建损失，旨在通过关注球等任务关键区域来提高性能。

To study this agent-world-model gap, the authors reproduce and independently evaluate five state-of-the-art visual world-model agents in Atari Pong (DreamerV3, DIAMOND, TWISTER, Simulus, and STORM). Their findings reveal critical visual and dynamical failures in closed-loop rollouts, substantial performance drops during zero-shot model-based training, and wide-ranging implications across Atari100K. To address these limitations, the authors introduce Concept-Guided Spatial Regularization (CGSReg), an auxiliary reconstruction loss designed to improve performance by focusing on task-critical regions like the ball.

核心贡献与方法论 (Key Contributions & Methodology)

1. 复现与评估世界模型

研究人员成功在 Atari Pong 中复现了五种突出的视觉世界模型智能体，使其性能与最初报告的一致。然而，当这些模型的冻结世界模型被隔离并使用独立训练的策略进行独立评估时，暴露出明显的缺陷： * 闭环演练失败： 定性检查揭示了严重的缺陷，例如球的消失、不正确的轨迹运动以及物理上无效的球与球拍交互。 * 零样本 MBRL 性能差距： 当在冻结模型内部完全从头开始训练新策略而无需真实环境训练时，与完全训练的智能体相比，它们的性能出现了巨大赤字（在 Pong 中 \(-21\) 是可能的最差回报）： * DreamerV3: \(-5.5\) 降至 \(-20.9\) * DIAMOND: \(19.7\) 降至 \(-9.6\) * TWISTER: \(17.7\) 降至 \(-13.3\) * Simulus: \(20.8\) 降至 \(-11.6\) * STORM: \(18.7\) 降至 \(-21.0\)

(注：观察到这种性能差距广泛延伸至更广泛的 Atari100K 基准测试套件).

1. Reproducing and Evaluating World Models

The researchers successfully reproduced five prominent visual world-model agents in Atari Pong to match their originally reported performances. However, when these models' frozen world models were isolated and evaluated independently using an independently trained policy, significant shortcomings emerged: * Closed-Loop Rollout Failures: Qualitative inspections revealed severe flaws such as ball disappearance, incorrect trajectory motion, and physically invalid ball-paddle interactions. * Zero-Shot MBRL Performance Gap: When new policies were trained entirely from scratch inside the frozen models without real-environment training, they suffered dramatic performance deficits compared to the fully trained agents (where -21 is the minimum possible return in Pong): * DreamerV3: \(-5.5\) to \(-20.9\) * DIAMOND: \(19.7\) to \(-9.6\) * TWISTER: \(17.7\) to \(-13.3\) * Simulus: \(20.8\) to \(-11.6\) * STORM: \(18.7\) to \(-21.0\)

(Note: This performance gap was observed to extend broadly across the wider Atari100K benchmark suite).

2. 提出的解决方案：概念引导空间正则化（CGSReg）

受任务关键故障（如 Atari Pong 中球的消失或异常行为）的启发，作者提出了概念引导空间正则化（CGSReg）。 * 机制： CGSReg 充当专门针对任务关键概念区域的辅助重建损失。 * 评估： 在具有挑战性的像素空间零样本 MBRL 设置下进行测试（策略直接从冻结世界模型生成的图像中学习），CGSReg 成功提升了 DreamerV3、DIAMOND、TWISTER 和 Simulus 的性能，并改善了前三个模型的闭环演练效果（STORM 没有显示出明显的改进）。

2. Proposed Solution: Concept-Guided Spatial Regularization (CGSReg)

Motivated by task-critical failures (such as the disappearance or misbehavior of the ball in Atari Pong), the authors propose Concept-Guided Spatial Regularization (CGSReg). * Mechanism: CGSReg acts as an auxiliary reconstruction loss targeted specifically at task-critical concept regions. * Evaluation: Tested under a challenging pixel-space zero-shot MBRL setting—where policies learn directly from images generated by the frozen world model—CGSReg successfully enhanced performance for DreamerV3, DIAMOND, TWISTER, and Simulus, and improved closed-loop rollouts for the first three models (STORM showed no clear improvement).

其他信息与资源 (Additional Information & Resources)